解决方法

为了理解如何更新权重矩阵U，我们需要基于时间展开模型。因为只需要观察时间t和时间t+1，我们会在两个时间步长展开模型。以下三张图片可以帮你了解我们需要考虑的三条路径。请注意，我们有两个作为存储单元的隐藏层，所以这个例子与我们在视频中看到的不一样，不过观点是一致的。我们将在应用链式法则时使用基于时间的反向传播算法。

以下是我们使用第一条路径推导出的方程式：

以下是我们使用第二条路径推导出的方程式：

以下是我们使用第三条路径推导的方程式：

最后思考所有三条路径后，我们可以推导出正确的方程式，从而使用基于时间的反向传播算法更新权重矩阵：